Trong thời gian đầu, Văn Tuyên Đế đã trị vì với thái độ mẫn cán, song sau đó ông trở nên hung ác và thoái hóa. Khi say rượu, ông đã nhiều lần đánh đập các em trai mình, trong đó có Cao Đam và hai người khác là Vĩnh An vương Cao Tuấn (高浚) và Thượng Đảng vương Cao Hoán (高渙), hai người sau đã bị bắt giam và cuối cùng đã bị giết chết một cách tàn nhẫn. Tuy nhiên, bản thân Cao Đam đã góp phần vào cái chết của họ, khi Cao Dương tính đến việc phóng thích hai người vào khoảng năm 559, do có quan hệ hận thù với Cao Tuấn, Cao Đam đã nói với Văn Tuyên Đế rằng: "Làm sao mà bệ hạ có thể cho các con hổ hung dữ ra khỏi chuồng?" Văn Tuyên Đế đã nghe theo và giết chết họ. Trong giai đoạn này, Cao Đam thân cận với Hòa Sĩ Khai (和士開) và Tổ Thỉnh (祖珽), thậm chí gọi họ là huynh đệ và hai người này sau đó đã giữ vai trò quan trọng trong chính quyền của ông.